Kyai Saleh belajar mengaji dari kedua orang tuanya hingga usia 15 tahun. Setelah itu, beliau mondok di beberapa Pondok Pesantren di bawah bimbingan Kyai Mas Ahmad di Surabaya, lalu ke Pesantren Syaikhona Khalil di Bangkalan, Madura.

Kyai Saleh memiliki banyak santri yang tidak hanya belajar agama, tetapi juga ilmu kanuragan. Beliau juga berguru kepada Tuan Guru Muhammad Said di Jembrana, Bali, dan pergi ke Makkah untuk melanjutkan pendidikan agamanya.